Split the Labor: Separating Evidence Interpretation from Decision Aggregation
分离劳动:将证据解释与决策聚合分开
🧭 LLM 多源证据聚合与决策架构
Atlassian
提出将证据解释与决策聚合分离,用四字段证据元组和校准对数似然比池化解决计数尺度漂移
📌 工作参考价值(4 点)
- 在电商/推荐系统的多源信号融合中,将 LLM 的“证据读取”与“决策聚合”拆开:每个证据输出结构化 tuple(hypothesis, reliability bucket, rationale, provenance),后续用固定算术融合,便于溯源和跨场景复用。
- 避免简单对多路召回得分、多策略 CTR 预估等做未归一化加权求和或投票阈值,因为阈值会随证据数量漂移;改用校准后的对数似然比池化(或等效的后验阈值),使决策一致且可比。
- 对不可靠来源(如弱标注、用户生成内容)先做可靠度分桶,再参与聚合,可降低噪声主导风险;该 bucket 可作为先验指导模型对不同证据的信任程度。
- 在 Agent 决策链中,将最终决策与中间证据解释分离,便于调试、审计和动态调整证据集;架构上无需大改,只需改变聚合的算术方式。